Khi đi học ở Hà Nội, ông sớm chịu ảnh hưởng của các thành viên Việt Nam Thanh niên Cách mạng Đồng chí Hội đang hoạt động bí mật tại Bắc Kỳ. Ông tham gia vào tổ chức Học sinh đoàn và Xích vệ đoàn, những tổ chức ngoại vi của Việt Nam Thanh niên Cách mạng Đồng chí Hội, nhiều lần tham gia rải truyền đơn tại Hà Nội. Tháng 12 năm 1929, ông được kết nạp vào Đông Dương Cộng sản Đảng.[1]

Tháng 6 năm 1930, sau khi Đông Dương Cộng sản Đảng hợp nhất vào Đảng Cộng sản Việt Nam, ông được Tô Chấn bố trí vào Sài Gòn cùng với Tô Hiệu, Tô Quang Đẩu. Bấy giờ chính quyền thực dân tại Nam Kỳ thẳng tay đàn áp các phong trào cách mạng, ông bị mất liên lạc với tổ chức nên tham gia hoạt động cho Việt Nam Quốc dân Đảng một thời gian trước khi tổ chức này bị chia rẽ và tan rã.

Năm 1931, ông xin vào làm cho một chủ tàu biển chạy tuyến Sài Gòn – Hải Phòng – Hongkong – Singapore với ý định trốn đi Pháp, đi Liên Xô hoạt động. Tuy nhiên khi vào đến Hải Phòng thì ông bị chỉ điểm nên bị thực dân Pháp bắt giam. Tuy nhiên sau thời gian dài thẩm tra, do không có chứng cứ buộc tội nên ông được thả tự do.

Sau khi được tha, ông ở lại Hải Phòng, sau đó bắt liên lạc được với tổ chức và hoạt động trong phong trào Mặt trận dân chủ, Hội Ánh sáng, Truyền bá quốc ngữ, Ái hữu tư thục… cho đến năm 1937. Thời gian này, ông nhiều lần làm việc với một lãnh đạo cũ của Việt Nam Quốc dân Đảng, nay hoạt động cho Đảng Cộng sản Đông Dương, Trần Huy Liệu, khởi đầu mối quan hệ thân tình giữa 2 người nhiều năm sau này.

Từ năm 1938 đến 1939, ông được giao nhiệm vụ phụ trách cơ quan giao thông liên lạc, ấn loát ở Hải Phòng, rồi công tác tại Thành ủy Hải Phòng. Trong thời gian này, ông nhiều lần bị mật thám Pháp bắt bớ, tra khảo, nhưng vì không có bằng chứng nên không buộc tội được.